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(54) Pit)c6d6 de mod6llsation d un syslfeme de prise de vues et proc6d6 et syst^me de realisation 
de comblnalsons d images r^eiles et d images de synthase 



(57) Proc^^ de r^isation dimages conportant 
une combinaison llbre dimages rdelles (13) oblenues 
par au moins un syst6me de prise de vues (1) compor- 
tant une cam6ra r6elle (2) mont6e sur un support 
mobile (4, 5) et dimages de synthase (1 2) obtenues par 
un ordinateur graphique (11) 6quip6 d'un logidel de 
synthase dimages, caracterisd par le fait que : 

on realise pr^alablement une mod^lisation param6- 
trique du syst^me de prise de vues (1) k partir 
d'une plurality dimages r^elles contenant chacune 
au moins un point de contrdie (23) dont la position 
gtemdtrique dans Tespace r6el est connue, la posi- 
tion des points de contrOie 6tant transmise k Tordi- 
nateur (11) en mSme temps que les valeurs 
mesur6es d'une plurality de grandeurs physiques 
capt^es. caract^istiques de la g^om^trie et de 
I'optique de la camera r^elle (2) et de son support 
(4. 5) pour chaque image; 

- puis, au cours de la prise de vues d'une s^uence 
d'images. on mesure. en synclironisme avec la 
g6n6ration des images r6elies. les grandeurs physi- 
ques pr^clt^s capites pour chaque image; 

- on transmet en temps r6el et en synchronisme avec 
la g6n6ration dimage, lesdites grandeurs captdes k 
rordinateur graphique (11) pour ddtennlner les 
param^tres du module du syst^me de prise de 
vues (1); 

- on g^ndre une s^uence dimages num^riques de 
synthase (12) k une frequence proche de celle des 
images r6elles (13) en d6duisant de ces param^ 



tres les caract6ristiques de calcul de chaque image 
de synthtoe de fagon k obtenir une parfaite cohe- 
rence giom^trique entre chaque image r^elle et 
chaque image de synthase correspondante; 
et on melange une partie de Timage r^elle avec une 
partle de llmage de synthase. 
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Description 

[0001] L'invention esl relative h un proc^d permet- 
tant une mod^iisation paramdtrique d un syst^me de 
prise de vues comprenant une camera r6elle mon!6e s 
sur un support mobile. Elle concerne 6galement la r6a- 
llsaticn dimages comportant chacune une combinaison 
libra d'une iniage r^te obtenue par un syst^me de 
prise de \aies et d'une Image de synthtee obtenue par 
un ordinateur graphlque 

[0002] La realisation d'images de syntti^e en trois 
dimensions n^cessite la construction tfune base d*enti- 
tte geom^iques tridimensionneiles dans la m^moire 
d'un ordinateur. des Informations d6crivant les caract6- 
ristiques visuelles de chacune des entity s*y trouvant is 
attach§es. L'ensemble ainsi construit oonstitue ce que 
Ton appelie un monde "Virtuel" par opposition au monde 
r^el dans lequel ^voluent par exemple des acteurs ou 
un syst§me de prise de vues. Cette Stape de construc- 
tion dans I'ordinateur est g^n^ralement appeite une so 
"moddlisation". 

[0003] Par ailleurs. la realisation dimages rMles 
obtenues par la capture d'une scdne r6elle par une 
cam^a r^elle qui peut dtre avantageusement une 
cam^a vidto feisant partle d'un syst^e de prise de 25 
vues fournit des images ou des s^uences dimages 
r6elles. La mod^isation pr6cit§e du syt^me de prise de 
vues rdel permet de determiner dans le monde virtuel 
un module param^trique de visualisation assimilable k 
une "camera virtuelle". 

[0004] La synthase dimages en trois dimensions a 
pris une place importante dans la chaTne de generation 
dimages et dans leur manipulation. Jusqu'^ present 
cependant il n'existe que peu d'exempies de realisation 
combinant librement des images de synthase et des 
images reelies. Les seuls exemples de realisation con* 
nus combinant des images de synthase et des images 
reelies font partle du domaine des effets speciaux et 
constituent de petites sequences, de mise au point deli- 
cate, apparaissant comma des exploits tectiniques. 
[0005] Pour realiser une combinaison dimages, qu1l 
s'agisse d'une image f ixe ou d'une image faisant partle 
d'une sequence dimages, 11 convient de realiser une 
image hybride dont certaines parties proviennent d'une 
image obtenue par la prise de vues d*une scene reelle 
par une camera reelle tandis que d'autres parties pro- 
viennent d'une image de synthese. Cette image super- 
pose done deux ou plus de deux mondes distincts 
comprenant au moins un monde r6©l ©t au hnoins un 
monde 'Virtuel". Pour que I'effet obtenu donne I'impres- 
sion de Timage d'un seul monde c'est-^-dire d'un 
monde composite fait de rembollemenl de deux mon- 
des paralieies. diacun contribuant pour partie ^ llmage 
finale, il estnecessaired'obtenir une parfaite coherence 
visuelle entre llmage reelle et llmage de synthese. 
[0006] Pour rendre plus daire cette notion de cohe- 
rence visuelle, imaginons un cube en bois, peint en 
jaune, place devant un syst^e de prise de vues et 



apres reglage de la camera 6quipant ce systeme de 
prise de vues. rimage qui en resulte qui est une image 
reelle. SI I'on gendre dans la memoire d'un ordinateur 
un monde virtuel comportant un cube ayant les mfimes 
dimensions que ie cube reel auquel on alloue des attri- 
buts d'aspect significant "en bois. peint en jaune" on 
peut obtenir, apres avoir fixe les paramdtres de la 
camera virtuelle, une image de synthase d'un "cube en 
bois, peint en jaune". La coherence visuelle entre 
llmage reelle et llmage de synthese est le degre de res- 
semblance existent entre ces deux images. La cohe- 
rence visuelle repose essentiellement sur la coherence 
geometrique : on dira de deux images qu'elles sont geo- 
metriquement coherentes si cheque sommet du cube 
reel occupe dans I'image reelle la m§me position que 
son homologue du cube virtuel dans llmage de syn- 
these. 

[0007] Pour obtenir une telle coherence g6om6trique 
il est tout d'abord n6cessaire que la camera virtuelle soit 
une modeiisation con-ecte du systeme de prise de vues 
reel utilise et que cette modeiisation soit parametrique 
de fa^on e permettre la manipulation du systehie de 
prise de vues reel. 

[0008] La presents invention a ainsi pour premier 
objet de f^dliter la determination aisee dans un ordina- 
teur hdte connecte e une camera r6elle faisant partie 
d'un systems de prise de vues. d'un nrxxjeie parametri- 
que de la camera reelle analogue k une camera vir- 
tuelle. 

[0009] Lorsque ce modeie parametrique est realise, il 
est encore necessaire que I'ordinateur cree pour che- 
que image r6elle une image virtuelle qui soit geometi- 
quement coherente. On peut alors parier de coherence 
dynanv'que et d'assen/issement de la camera virtuelle 
par la camera reelle. 

[001 0] Llnvention a done egalement pour objet, apres 
avoir cree une camera virtuelle au moyen d'un modeie 
parametrique d'une camera reelle faisant partie d'un 
systems de prise de vues, la realisation k cheque Ins- 
tant d'un couplage dynamique entre les deux cameras 
reelle et virtuelle assurant une parfaite coherence entre 
cheque Image reelle et cheque image virtuelle d'une 
serie d'images et permettant un asservissemenl de la 
camera virtuelle k la camera reelle et vice versa 
[001 1] Llnvention a egalement pour objet un systeme 
de realisation d'images permettant une combinaison 
libre d'images r6elles et dimages de synthese geome- 
triquement coherentes. On realise ainsi un couplage 
dynamique de la camera r6elle et de la cam6ra virtuelle. 
[0012] Confbrmement k llnvention. le procede de 
modeiisation parametrique d'un systeme de prise de 
vues comprenant une cam6ra reelle montee sur un sup- 
port mobile utilise un ordinateur hflte connect6 k diffe- 
rents capteurs prevus sur le systems de prise de vues. 
Selon llnvention. on fait generer par le systems de prise 
de vues une pluralite d'innages reelies oontenant cha- 
cune au moins un point de contr6le dont la position geo- 
metrique dans I'espace r6el est connue. 
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[0013] On mesure pour chaque image r§elle ainsi 
g^n^r^e une plurality de grandeurs g^m^triques et 
optiques du syst^me de prise de vues capttes par les 
capteurs pr^dt^ et on transmet les valeurs de ces 
grandeurs capites k Tordinateur hdte. 
[0014] On informe Tordinateur hOte de la position de 
chaque point de contrdle dans chaque imaga 
[001 5] Enf in on mod6iise le syst6me de prise de vues 
par un calcul mettant en rapport Fensembie des infor- 
mations relatives k la position des diff^rents points de 
contrdle avec les valeurs correspondantes des gran- 
deurs capt^es. 

[0016] II convient de pr^^rence tfutlliser au moins 
trois points de contrOie non align^s. Dans la pratique 
cependant on utilisera un plus grand nombre de points 
de contrfile. Ceux-ci peuvent faire partie d'objets tridi- 
mensionnels de calibrage de gtom^trie pr^^inie et 
connue. 

[0017] Le proc6d6 selon Unvention de realisation 
d'images comportant une comiDinaison fibre dlmages 
rMles olstenues par au moins un syst^me de prise de 
vues comportant une camera rdelle montde sur un sup- 
port mobile et d'images de synthtee cbtenues par un 
ordinateur graphique ^uip^ d'un logiciel de synthtee 
d'images. comprend diff^erttes stapes. 
[001 8] On realise tout d^abord une mod^Iisation para- 
m^ique du syst^me de prise de vues k partir d'une 
plurality d'images r^elles contenant chacune au moins 
un point de contrdle dont la position gtemStrique dans 
Tespace r^ei est connue, la position de ces points de 
contrdle tent transmise k I'ordinateur en mSme temps 
que les valeurs mesur^es d'une plurality de grandeurs 
physiques capt6es. caract^istiques de ta gtem^trie et 
de roptique de la camera rdeile et de son support pour 
chaque image. Le syst^e de prise de vues 6tant tout 
instant caract6ris§ par les valeurs d*un certain nombre 
de grandeurs physiques g^om^triques et optiques 
variables, ta camera virtueile constitute par la mod^i- 
sation paramttrique du systtme de prrse de vues se 
trouve compl^tement d6termin6e k chaque instant par 
les valeurs des param^es qui ta gouvement 
[001 9] Les images rtelles g6n6r6es par la camera du 
systems de prise de vues peuvent 6tre affich^es sur 
I'^n de rordinateur graphique. Difftrents trac^ gra- 
phiques peuvent alors §tre superpose k ces images 
relies afin de verifier la position des difftrertts points 
de contrdle dans Timage rtelle lors de Toptration pr6a- 
lable de modtlisation. II y a lieu de noter k cet dgard que 
ces diffdrents points de contrdle peuvent parfaitement 
se trouver ult6rieurement en dehors du champ de la 
camera reelle lors du toumage de la s^uence d'ima- 
ges. 

[0020] Une fois cette phase pr^liminaire de nrKxi^iisa- 
tion terminte. on proc^e k la prise de vues d'une 
image ou d'une s^uence dimages. Au cours de la 
prise de vues tfune telle s^uence, on mesure. en syn- 
chronisms avec la generation des images rdelles. les 
grandeurs physiques precitees captees pour chaque 



image. On transmet en temps r6el et en synchronisms 
avec la generation des inrvages. lesdites grandeurs cap- 
tees k rordinateur hdte de fagon k definir les parame- 
tree du modeie du systems de prise de vues. 

5 [0021] On gen^re alors une sequence d'images 
numerlques de synthese k une frequence proche de 
celle des images reelles en deduisant de ces parame- 
tres. les caracteristiques de calcul de chaque image de 
synthese de fagon k obtenir une parfaite coherence 

10 geometrique entre chaque image reelle et chaque 
. image de synthese conrespondante. 
[0022] Enf in on melange une partie de I'image reelle 
avec une partie de rimage de synthese dans chaque 
image d'une sequence d'images. ce melange pouvant 

15 etre lait dans I'ordinateur hdte ou dans un meiangeur 
externe. 

[0023] Le systeme de prise de vues, qui comprend 
generalement une camera et son support gentre des 
images k un rythme oonnu (24, 25 ou 30 images par 

20 seconds par exemple). Selon rinvention, I'acquisition 
des mesures des grandeurs physiques r6gissant le sys- 
teme de prise de vues reel et leur transmission k rordi- 
nateur hdte se font de fa^n synchrone k la generation 
d'images. L'ordinateur crke pour chaque image reelle. 

25 une image virtueile qui lui est geometriquement cohe- 
rente. On otrtient done une coherence dynamique assi- 
milable k un asservissement de la camera virtueile par 
la camera reelle. En d'autres tennes la camera reelle. 
pilote ta camera virtueile. 

30 [0024] Les grandeurs physiques variables caracteris- 
tiques de la gtemetrie et de I'opt'que du systeme de 
prise de vues sent en general modif tables par I'applica- 
tion de forces ou de couples sur des parties mecanl- 
ques mobiles du systems de prise de vues. C'est ainsi 

35 par exemple que la bague de zoom de I'objectif k focaie 
variable peut dtre entraTnee en rotation. De la mdme 
maniere. le chariot ponant le support de la camera sur 
un rail de d^piacement appeie rail de travelling peut voir 
sa position modifiee. Les forces n6cessaires k ces mou- 

40 vements sont appliquees soit manuellement soit par 
des moteurs. Lorsque toutes les grandeurs physiques 
variables du systems de prise de vues sont nrxxlifi6es 
au cours de la prise de vues d*une sequence d'images 
par des moteurs, it devient possible de renverser le sens 

45 d'asservissement Les moteurs pilotes par un ordina- 
teur peuvent en effet positionner le systems de prise de 
vues reel de sorts que les Images qu'il genere soient 
dynamiquement gtometriquement coh^rentes avec 
celles que foumit ta camera virtueile. On obtient alors 

so un asservissement de la camera r6elle par la camera 
virtueile. 

[0025] La prfeente invention permet les deux sens 
d'asservissement pour un systems de prise de vues 
c'est-e-dire un veritable couplage dynamique de la 
55 camera reelle et de la camera virtueile. 

[0026] Apres la phase preiiminaire 11 peut encore &tre 
necessaire de completer la modeiisation parametrique 
du systems de prise de vues par la determination de 
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grandeurs physiques dites "de prise" qui valent d*une 
prise de vues k Tautre niais qui sortt maintenues fbces 
pendant cheque prise de vues. 
[0027] Acet6ffet.onprocMeiiunephased1nitialisa- 
tion pr6aJabIe k la prise de vues en g6n6rant au moyen s 
du syst^e de prise de vues r^el. une plurality dama- 
ges reelles. chacune resultant de la vis^e d'un point de 
contrOle en faisant coTncider ledit point de contrOle avec 
le point de Umage aligns avec Taxe optique de la 
cam§ra. La position du point de contrCle dans Tespace 10 
est transmise k I'ordinateur en mdme temps que las 
valours mesur^es des grandeurs physiques captdes 
pour cheque Image. Le modfele param6trique ayant 
ainsi 6t6 compl6t6 la prise de vues de la sequence 
dimages peut commencer comme indiqu6 pr^cMem- is 
ment. 

[0028] Dans un mode de realisation pr6f^6 de Hnven- 
tion les images combin^es instantan^es obtenues par 
ie proc^e de Tinvention sont en outre errvoy^es en 
temps r^l sur au moins un moniteur de contrdle. L'op^ so 
rateur du systdme de prise de vues rdel peut de cette 
maniere disposer sur un monrteur de vis6e dimages 
hybride ce qui faciiite largement les d^placements du 
syst^me de prise de vues lors du tournage. 
[0029] Dansunmodedertoiisab'onpr6f^6derinven- ss 
tion la cam6ra du systems de prise de vues est une 
camera vid^ asservie k un signal de synchronisation 
et I'enregistrement de cheque image est assodS k un 
code de temps (time-code), Les donn^es relatives k 
chaque image r6elie et comportant les grandeurs cap- so 
t6es sont aiors transmises avec le code de temps (time- 
code) correspondent k Umage vers Tordinateur graphi- 
que k chaque top de synchronisation. 
[0030] Les donn^es transmises k Tordinateur peuvent 
§tre avantageusement stock^es dans un f ichier m^mo- 35 
risk soit dans I'ordinateur soit dans une m^moire 
externe. De cette maniere. les images de synthtee 
g6n^r6es au moment de la prise de vue k une fre- 
quence proche du temps r6el peuvent §tre des images 
simpllfi6es par rapport aux images de synthtoe g6n6- 4o 
r6es apr§s la prise de vues k partir du fichler mdmorisd 
pour la composition des images hybrides combin^es 
d^inrtives. 

[0031] Les grandeurs capt^es caract^ristiques de 
roptique et de la g^m^trie du syst^me de prise de 4S 
vues peuvent comprendre par exemple Touverture du 
diaphragme, la mise au point, la focaJe de Tobjectif k 
locale variable (zoom), la vitesse d'obturation, rela- 
tion de la camera, la rotation du support de la camera 
autour de son axe vertical, rinclinaison du support de la so 
camera autour de son axe horizontal, la position du cha- 
riot support de la camera par rapport k un rail de travel- 
ling etc... 

[0032] Le systems selon llnventlon de realisation 
d'images comportant une combinaison libra dimages ss 
reelles et dimages de synthese comprend generale- 
ment les elements suivants : 



- au moins un systems de prise de vues comportant 
une camera reelle montee sur un support mobile 

- une pluralite de capteurs disposes k difterents 
emplacements sur la camera et sur son support 
mobile de fagon k pouvoir mesurer une pluralite de 
grandeurs physiques caracteristiques de la geom6- 
trie et de I'optique du systems de prise de vues 

- des moyens eiectioniques pour recevoir les don- 
nees mesurees par les differertis capteurs, un 
signal de synchronisation des images reelles g6ne- 
rees par le systems de prise de vues et un code 
temporel (time-code) pour chaque image et pour 
. emettre, k chaque top de synchronisation, Tensenv 
ble de ces donnees sous la Ibrme d*un paquet uni- 
que, conportant le code temporel (time-code) 
oorrespondant 

- un ordinateur graphique equipe d*un logidel de syn- 
these dimages numeriques 

une liaison entre lesdits moyens eiectroniques et 
rordinateur graphique. 

[0033] Le systeme peut comporter plusieurs syste- 
mes de prise de vues chacun muni d*une camera reelle. 
[0O34] Les cameras utilisees peuvent etre des came- 
ras video, des cameras de television haute definition 
(HD) au meme titre que des cameras dnerratograpN- 
ques. 

IP035] Linvention sera mieux comprise k retude d'un 
exemple de realisation nullement limitatif illustre sche- 
matlquement par les dessins anne)*s sur lesqueis : 

la figure 1 montre schematiquement Tensemble 
d'un systems de realisation dimages selon linven- 
tion et 

la figure 2 illustre de maniSre simplif iee un systems 
de prise de vues comportant une camera et un sup- 
port mobile I'ensemble pouvant etre utilise dans ie 
systeme de realisation dimages de la figure 1 . 

[0036] Tel qu1l est illustre sur la figure 1 le systems de 
realisation dimages de linvention comprend un sys- 
tems de prise de vues reference 1 dans son ensemble 
comprenant une camera video 2 6quipee d'un objectif k 
focale variable 3 et mont6e sur un support constitue par 
un pied 4 et un chariot 5 pouvant se deplacer sur des 
rails 6 pour des mouvements de travelfing au moyen de 
roues 7. Sur la cam6ra 2 se trouve dispose un moniteur 
de vises a La camera comprend en outre une carte 
eiectronique d'acquisition 9 representee schematique- 
ment sous la forme d'un bloc sur la figure 1. La cane 
eiectronique 9 est reliee par la liaison 1 0 e un ordinateur 
graphique 1 1 equip6 d'un logiciel de synthese dimages 
numeriques. Les images numeriques de synthese 
generees par I'ordinateur 11 peuvent §tre visualisees 
sur un ecian 12. Les images r6elles generees par la 
camera 2 peuvent quant k elles etre visualisees sur un 
ecran 13. Bien entendu les ecrans 12 et 13 pourraient 
n'en foire qu'un. 
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[0037] Selon rinvention. I'ordinateur 11 est en outre 
capable, aprte avoir assure la coherence gtem^trique 
entre ('image r^elle apparaissant sur le moniteur 13 et 
I'image de synth^e apparaissant sur le moniteur 12 de 
m6langer ces deux images de fagon k cr6er une image 
combinee hybride comportant des parties de Timage 
r^elle et des parties de I'tmage de synthdse. Bien 
entendu dans une variante ce melange pourrait ©tre 
effectu6 par un m6langeur classique. Cette image 
hybride combinee apparalt sur te nrKsniteur de contrCle 
14 qui pounait ^galement dtre constitu^ par une fendtre 
dans r^n 12 de Torcfinateur 1 1. Limage hybride peut 
^alement §tre renvoy^ par la connexion 15 sur le 
moniteur de vis^e 8. 

[0038] Comme on peut le voir en outre sur la figure 1 
le syst^me de prise de vues 1 se trouve situ6 dans une 
pi^e repr6sentant le monde r6el et comportarrt k titre 
d'exanpie un plancher 16 sur lequel sont places les 
rails 6 et deux murs 17 et 18 ^ angle droit Sur le mur 18 
se trouve un tableau 19. Un volume cubique 20 et une 
table 21 sur laquelle est pos^ une feuiile de papier 22 
se trouvent ^galement dans le d6cor r^el. Une pluralitd 
de points de contrdle 23. ici au nombre de dnq dans 
I'exemple IRustrd, sont constrtu^ par de petites cibles 
dessin6es ou collies sur les murs respedifs 17 et 18 & 
diff6rents endroits. Sur la figure 1 se trouve en outre 
sch^matis^ sous ia forme d'un rectangle en trait fin 24 le 
champ maximal de vision du systems de prise de vues 

1 prevu pour la prise de vues definitive. On notera que 
les diff^rents points de contrdle 23 se trouvent en 
dehors du champ de prise de vues d§finitif ainsi d§li- 
mite. 

[0039] On a encore repr^ent^ symboliquement sur la 
figure 1 sous la r^erence 25 le monde virtuel qui se 
trouve d^ini par un module parametrique constitu6 
dans rordinateur il et capable de g^^er une image de 
synthase sous la forme d'un objet pyramidal 26 orients 
par rapport k un tri^re de r^Srence 27 et vu par une 
"camera virtuelle 2& 

[0040] Selon ia pr^sente invention, i'objet 26 pr^ente 
une parfaite coherence gtemStrique avec I'image 
r^le. Dans ces conditions, non seulement son orienta- 
tion est correcte par rapport k celle de I'objet cubique 20 
mais encore ses dimensions sont compatibles de fagon 
k permettre. par combinaison de I'image r6elle visible 
sur r6cran 13 avec Umage de synthase visible sur 
I'toan 12 d'obtenir une image oombinSe apparaissant 
sur I'^ran 1 4 sur laquelle il n'est pas possftsle de distin- 
guer les elements rSels des dldments de synthtee. 
[0041 ] En se reportant k la figure 2 on voit que le sys- 
Xkme de prise de vues 1 comports une plurality de cap- 
teurs disposes k diffdrents emplacements de la camera 

2 et de son support 4,5. A titre d'exemple on a repre- 
sents sur la figure 2 un capteur 28 pour les mouve- 
ments dits de panoramiques c'est-^-dire de rotation 
autour d'un axe vertical du pied 4. un capteur 29 de 
mouvements de plongSe c'est-&-dire d'une rotation 
autour d'un axe horizontal, un capteur 30 de travelling 



fournissant une indication sur les dSpIacements du cha- 
riot 5, un capteur 31 de mise au point montS sur la 
bague de mise au point de I'objectif 3. un capteur 32 
d'ouverture de diaphragme Sgalement montS sur 

5 I'objectrf 3 et un capteur de zoom 33. Un circuit 6lectro- 
nique 34 taisant partie de la carte d'acquisition 9 visible 
sur la figure 1 regoit, par les connexions 35 et 36. les 
signaux Smis par les capteurs 31 de mise au point et 33 
de zoom. II peut s'agir en particuller de capteurs Squi- 

w p6s d'un systems de codage optlque fournissant des 
donnSes sur des dSpiacements angulaires. Les don- 
nSes traitees par le circuit eiectronique 34 sont ensuite 
envoySes par la connexion 37 sur un circuit d'acquisi- 
tion eiectronique 38 faisant partie de la cane d'acquisi- 

15 tion 9 visible sur la figure 1 qui regott les signaux issus 
des autres capteurs par les connexions 39. 40, 41 et 42. 
[0042] Les signaux correspondent aux diffSrents cap- 
teurs sont g6n6ralement sous forme analogique. 
[0043] Les diffSrents capteurs 3 1 , 32 et 33 fournissent 

20 des informations sur les caract^ristiques optiques du 
systems de prise de vues. Bien entendu d'autres carac- 
teristiques optiques pourraient §tre prises en compte 
dans la pratique. 

[0044] Les diff erents capteurs 28. 29 et 30 fournissent 
25 des informations sur les caracteristiques geometriques 

du systems de prise de vues 

[0045] On comprendra bien entendu que le nombre 

de ces capteurs pourrait Stre augments par rapport k 

I'exemple illustrS. On pourrait notamment donner des 
30 infonnations sur I'eiSvation de la camSra par rapport au 

sol et sur d'autres orientations de la camera par rapport 

k son pied. 

[0046] Les capteurs 28, 29 et 30 peuvent avantageu- 
sement §tre constitu6s sous la forme de codeurs opti- 
35 ques dont les informations sont directement traitSes par 
le circuit d'acquisition 38. 

[0047] Le circuit d'acquisition 38 comports en outre 
une entree de synchronisation 43 recevant les tops de 
synchronisation des images gSnSrees par la camera 2 

40 ainsi qu'une entree 44 recevant le code temporel (time- 
code) correspondent k cheque Image genSrSe. 
[0048] Le rOle du circuit d'acquisition 38 est de collec- 
ter I'ensemble des valeurs mesurees par les diff erents 
capteurs en synchronisme avec la prise de vue video et 

45 de les envoyer par paquets correspondant chacun k un 
code temporel (time-code) par I'intermSdiaire de la con- 
nexion de sortie 45 vers I'ordinateur graphique 11. 
[0049] On va maintenant decrire le fonctionnement du 
systems de realisation d'images selon llnvention. 

so [0050] Le systSme de prise de vues 1 constitue de la 
camera complete 2 avec son optique 3 k focale variable 
et son systems de manipulation permettant des panora- 
miques horizontaux et verticaux, son pied 4 permettant 
reievation et son systems de chariot 5 permettant des 

55 travellings sur les rails 6. est utilise pour simultanement 
obtenir des images de la sc6ne r6elle et d'autre part 
pOoter dans Tordinateur graphique 11 un ensemble de 
parametres pennettant de calculer des images de syn- 
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th6se en trds dimensions. Plus pr6cte6ment Tensemble 
du syst^me est congu pour que le monde virtuel 25 vu 
par la camera virtuelle 2a et visualise en Images de syn- 
thase sort constamment coherent d'un point de vue 
g6om6trique avec le monde r6el vu par la cam6ra 2. 
[0051] Pour illustrer ce principe de coherence consi- 
d6rons le cube 20 qui pr6sente certaines dimensions 
r^elles. Dans le monde virtuel 25 1'ordinateur 1 1 §quip6 
de son logictel de synthase d*lmages est capable de 
cr^er une pyramide 26 de base can'^e comportant un 
cdt6 exactement identique au cdtd du cube r^el 20 et 
orients de la m§me mani^re. La camera 2 librement 
manipul^e par son op^rateur peut alors cr^er selon 
I'inventlon une sequence d'images ayant ce cube 20 
pour sujet dans le d^oor r6el visible sur T^cran 13. 
Simultan^ment et avec senslblement la mSme fr6- 
quence, est cr§§e par Tordinateur 11 une s6quence 
6quivalente d'images de synthase telles que si Ton 
superpose deux k deux les images r^elies et de syn- 
th^e conrespondantes, le cube 20 tM et la pyramide 
26 de synthase viennent exactement se superposer 
donnant Timpression d'un volume unique. Cette pro- 
pn^6 du syst^me lllustre la coherence g^m^tique 
entre les deux sources dimages r^elles et virtuelles. 
[0052] Pour obtenir une telle coh^ence g6om6trique 
il est n^cessaire le connaltre avec une grande precision 
I'ensemble des caract^ristiques physiques gtem^- 
ques et optiques du systdme de prise de vues rtelle 1 
dans la mesure oij de telles caract6ristiques affectent 
rimage r^eile produite k chaque instant. 
[0053] Ces grandeurs caract§ristiques physiques se 
r^rtissent en plusieurs categories : 

les grandeurs physiques constantes fixes pour tou- 
tes les prises de vues 

les grandeurs physiques constantes pendant une 

prise de vues mais pouvant verier d'une prise k 

I'autre dite "grandeurs de prise" 

enfin les grandeurs physiques variables au cours 

de la prise de vues et mesur^es en permanence 

par les diff^rents capteurs 29 k 33 dites "grandeurs 

captdes". 

[0054] Parmi les grandeurs physiques constantes 
pour toutes les prises de vues on pourra noter par 
exemple la taille de la matrice de diodes CCD de la 
camera 2, le nombre de cellules de cette matrice, le 
d^Iage entre I'axe optique et le centre de la matrice 
de diodes CCD. la position relative entre Taxe vertical 
de panoramique du pied A et I'axe horizontal 29 du mou- 
vement de plong^. 

[0055] Parmi les grandeurs physiques fixes en cours 
de prise mais qui peuvent verier d'une prise k I'autre. on 
notera par exemple la position du rail 6 dans le monde 
r^el ou. en I'absence d'un chariot de travelling, la posi- 
tion du pied de support d'une camera fixe. 
[0056] Les grandeurs physiques "capt^s" sont quant 
k elles par exemple celles qui sont mesur^es par les 



capteurs illustrte sur la figure 2 r6f6renc6s 28 k 33. 
[0057] Selon Tinvention. avant toute prise de vues, on 
prockle k une phase d'analyse du syst^e de prise de 
vues de fagon k d6f inir un module param^trique du sys- 

5 \kme de prise de vues dans Tordinateur graphique 1 1 . 
[0058] A cet effel on realise k I'aide du syst^e de 
prise de vues 1 comportant la camera 2, une plurality 
d'images r^elles contenant chacune au moins Tun des 
points de controls 23. La position g^^trique de cha- 

10 cun des points de contrdle 23 dans Tespace rtel tent 
partaitement connue. peut etre introduire k We de ren- 
seignement g6om6trique dans Tordinateur graphique 
11. On notera que lors de la rtoltsation de ces Images 
r^elles. la camera 2 est plac6e de fa9on k pouvdr effec- 

15 tivement visualiser les diff6rents points de contrOle 23 
plac^ comma on Va dit pr^c^emement en dehors du 
champ normal de la future prise de vues. 
[0059] Pour chacune des images r6elles ainsi g6n6- 
r6es toutes les grandeurs capt6es sont trait6es par le 

20 circuit 61ectronique 34 et le circuit d'aoquisition 6iectro- 
nique 38 puis transmises en synchronisme avec les 
images par la liaison 45 k I'ordinateur 1 1 . 
[0060] Apr^ avoir ainsi r6alis6 une plurality de telles 
images dans laquelle on retrouve chaque fois un certain 

25 nombre de points de contrOle 23 identifies chacun par 
exemple par un num6ro, on proc6de dans I'ordinateur 
1 1 k Tanalyse de la relation entre les informations sur la 
position des dlff6rents points de contrdle v^hiculfe par 
les images rtelies dmanant de la cam^a 2 elle-m§me 

30 et les informations conrespondantes foumies simultan6- 
ment par les diff6rents capteurs des caract6ristiques 
geom§triques et optiques variables du systems de prise 
de vues 1. 

[0061 ] On notera qu1l e^ n6cessaire de disposer d'au 

35 moins trois points de contrOle 23 non align6s pour four- 
nir des renseignements suffisants k I'ordinateur 11. 
Dans la pratique cependant on pr6voiera un nombre 
plus grand de tels points de contrOle 23. 
[0062] On notera que dans un mode de realisation 

40 pr§f6r6 de Tinvention, les images g6n6r6es par la 
camera 2 peuvent 6tre affich^es en m§me temps que 
sur d'autres moniteurs de contrOles, sur I'toan 12 de 
roidinateur graphique 11 dans une zone partlculi^re de 
cet 6cran ou fen§tre que Ton peut positionner ou on le 

45 desire. II est alors facile d'ex6cuter par programme dans 
cette m§me fenfttre diff6rents traces graphiques qui 
viennent se superposer k llmage issue de la cam6ra 2 
du systems de prise de vues 1. Etant donn6 que Ton 
retrouve dans chaque image r6©lle issue du syst6me de 

so prise de vues 1 un certain nombre de points de contrOle 
23 parfaltement identifies par leur num6ro, 11 est facile, 
en d6plagant un curseur sur la fenfitre par exemple k 
I'aide d'une souris et en cliquarrt sur la souris quand le 
curseur est sur un point de contrOle, d'informer I'ordina- 

55 teur 11 de la position exacte de ce point de contrOle 
dans rimage. 

[0063] Bien entendu tout autre m6thode permettant 
de renseigner Fordinateur graphique sur la position des 



6 



11 



EP0971319A2 



12 



diff^rents points de contrdle dans ilmage peut convenir. 
[0064] Gr&ce k I'ensemble de ces informalions, il est 
alors possible de r^aiiser un mod^e param^trique dans 
le monde virtue! du syst&me de prise de vues r6el. 
constituant en quelque sorte une camera vlrtuelle dans s 
le monde virtuel. L'ordinateur est ainsi capable de 
m6moriser une pluralite de tables de conversion four- 
nissant les valeurs des param^tres de la camera vir- 
tuelle pour chaque modification de Fun des param6tres 
de la camera r6elle. On notera que la definition et le cal- io 
cul de ce module param^trique du syst^e de prise de 
vues r6el 1 se fait une fbis pour toutes pour chaque sys- 
t^me de prise de vues de sorte quil nV a pas lieu de 
r^ter ces operations plusieurs fbis. 
[0065] Dans certains casil peut se1aire,comme on I'a 75 
indlqu^ pr^^emment, que certaines grandeurs physi- 
ques fixes du syst^me de prise de vues 1 varient cepen- 
dant entre deux prises de vue. Dans ce cas 11 est encore 
n^cessaire, avant la prise de vues effective, de proc^ 
der^ une operation dite "d'initialisalion" permettant de 20 
renseigner l'ordinateur 1 1 sur la situation effective du 
systems de prise de vues 1 dans le monde r^el. Cela 
peut &tre le cas. par example si les rails 6 ont dt6 depla- 
c^ dans un autre d^ rM depuis la prte^ente prise 
de vues. 

[0066] A cet effet. le module param^trique du syst^me 
de prise de vues doit dtre complete par des grandeurs 
physiques dHes "grandeurs de prise" caractfristiques 
de la position du support mobile dans t'espace. Dans ce 
but, on g^n^e k nouveau au moyen de ia camera 2 une 
pluralite dimages reeltes chacune resultant de la vis6e 
d'un point de contrdle 23 en bisant coTncider ledit point 
de contrdle avec te point de Timage aligns avec I'axe 
optique de la camera. On precede ^ une telle vis^e suc- 
cessive d'un certain nombre de points de contrdle 23. 
Cette operation dinitialisation s'apparente done k la 
pr6c6dente operation. Toutefbis id on ne considfere 
qu'un seul point de contrdle 23 par image et celui-ci est 
toujours k la mSme place dans I'image. 11 suffit done de 
renseigner l'ordinateur 11 sur le numdro du point de 
contrdle. La position de chaque point de contrdle dans 
respace est transmise k Pordlnateur en m§me temps 
que les valeurs mesur^es des grandeurs captees 
issues comme precedemment des diff^rents capteurs 
28 k 33 et traitees par les circuits eiectroniques 34 et 
38. 

[0067] Apres cette operation d'initialisation. on pro- 
cede k la prise de vues de la sequence d'images reelles 
desires, les points de contrdle 23 restant ators en 
dehors du champ illustre en 24 sur la figure 1. 
[0068] Pendant la prise de vues. les differentes 
valeurs mesurees par les capteurs 28 k 33 sont traitees 
en temps reel. Les signaux con'espondant aux gran- 
deurs physiques captees pour chaque image sont done 
transmises par Tintermediaire du circuit eiectronique 
d'acquisition 38 en temps reel et en synchronisme avec 
ia generation des images sous la forme d*un paquet 
comportant en outre le code temporel (time^xxJe). 



L'ordinateur 11 dispose done pendant la prise de vues 
k chaque image reelle indexee par son code temporel 
(time-code), de toutes les Informations lui permettant de 
calculer les parametres de la camera vlrtuelle 2a cor- 
respondante. Ces informations sont tout d'abord stoc- 
kees dans un fichier associe k la prise de vues 
correspondante aux fins d'utilisation ulterieure. Simutta- 
nement l'ordinateur 1 1 g6nere des images de synthese 
vues par la camera virtuelle 2a k un rythme proche de 
celul du systeme de prise de vues reel 1 . Cet imperatif 
de temps reel impl'que done que les images de syn- 
these puissent eventuellement dtre simplifiees par rap- 
port aux images de synthese definitives qui seront 
generees plus tard k partir du fichier memorise oonsti- 
tue pendant la prise de vues et qui seront effectivement 
utili&ees pour la composition finale avec les images 
reelles. 

[0069] Pendant la prise de vues on dispose done en 
continu de deux sources d'images, les images reelles 
provenantdu systems de prise de vues 1 et les images 
de synthese provenant d*un monde virtuel 25 geometri- 
quement coherentes avec celles-d. Ces deux sources 
peuvent alors m6Iangees en temps r6el et Timage 
hybride affichee sur un certain nombre de moniteurs de 
contrdle tels que 14 destines aux realisateurs. aux 
acteurs eventuels, aux cadreurs. etc. Dans un mode de 
realisation prefere de Tinvention comme illustre sur la 
figure 1. on renvoie Ilmage hybride ainsi obtenue sur le 
moniteur de vises 8. Le cadreur qui manipule la camera 
2 peut alors op6rer comme si le systeme de prise de 
vues reel 1 etait 6quipe d'une camera mixta filmant un 
espace hybride meiant Tespace reel et un espace vir- 
tuel assurant ainsi une excellente ergonomie et une 
grande souplesse du precede de Hnvention. 
[0070] Le melange des images reelles et des images 
de synthese peut se faire d*une maniere classique par 
incrustation, par exemple incrustation sur forxi bleu ou 
incrustation selon la luminosite. 
[0071] Le precede de Tinvention peut etre aisement 
applique k la production d'images en studio dans 
laquelle par exemple des images reelles comprendront 
des acteurs reels f ilm6s sur fond bleu. Les images de 
synthese comprendront alors par exemple des decors, 
les images combin6es conportant les acteurs reels se 
deplagant decant les decors de synthese. 
[0072] Dans une autre application du precede de 
I'invention k la production d'images en ext6rieur, les 
images reelles peuvent comprendre un d6cor r6el tel 
qu'un decor nature! et les images de synthese peuvent 
comprendre par exemple un element architectural tel 
qu'un projet de batiment. les images combin6es com- 
portant alors reiement architectural de synthese dans 
son decor reel. 

[0073] On pourra egalement envlsager de g6nerer par 
ordinateur des caches d'ei6ments reels presents dans 
la scene ou encore de sut)stituer des elements reels par 
des elements de synthese. 

[0074] D*une maniere generale on comprendra que le 
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parfait couplage dynamique r^lis6 selon rinvention 
entre ia camera r^elle et une camera virtuelle permet 
toutes sortes de combinaisons entre des images rtelles 
et des images virtuelles avec une parfaite coherence 
gtem^trique. 

Revendicatlons 

1 . Mdthode poiir g6n6rer une s^rie d'images de sortie 
combin^es hybrides chacune d§riv6e de donndes 
provenant d'images r^elles combin^e avec des 
donn^es provenant dimages de synth^e* dans 
lesquelles lesdites donn^es provenant d'une image 
reeile sent g^n^^es par une camera r^elle dans un 
monde r^el et lesdites donn^es provenant d'une 
image de synth^e sent g^n^r^es par un ondina- 
teur; ladite m^hode tent caract^s^e par le fait 
qu'elle oomprend les stapes suivantes : 

- d§finir plusieurs points de oontrOie r^ls dans 
le monde r6el; 

- g6n6rer k Taide de la camera rdelle des images 
r^elles iilustrant une r^ion d^inie par lesdits 
points de contrdle; 

• transferer les images relies dans Tordinateur; 

- mod^liser k I'aide de Tordinateur les positions 
desdits points de contrdle r^els; 

- d^nir plusieurs points de contrdle virtuels 
dans lesdites images de synthtee; et 

- aligner lesdits points de contrdle virtuels avec 
lesdits points de contrdle r^ls. image par 
image, pour g^n^rer une s^rie d'images de 
sorties composite align^es. 

2. M^thode pour g^n^rer une s^rie dimages de sortie 
combin§es hybrides selon la revendication 1. 
caract^ris^e par le fait que ladite dtape de nKXl6ii- 
sation est r^alis^e k une frequence proche de la 
frequence d laquelle la camera g^ndre lesdites 
images r^elles. 

3. Methods pour g^n^er une s6rle d'images de sortie 
combin§es hybrides selon la revendication 1, 
caract^is^e par le fait que lesdits points de con- 
trdle r^els sont en dehors du champs de prise de 
vue ddfinitif de la camera r6elle lore de la genera- 
tion des images reelies. 

4. Methods pour generer une eerie d'Imagee de sortie 
combinees hybrides selon la revendication 1, 
caracterisee par le fait qu'elle indut de plus une 
etape d*affichage en temps reel des images de sor- 
ties combinees hybrides sur un moniteur de oon- 
trdla 

5. Methode pour generer une serie dimages de sortie 
combinees hybrides selon la revendication 1, 
caracterisee par le fait qu'elle inclut de plus les eta- 



pes suivantes : 

- afficher une image reeile generee par la 
camera reeile sur un moniteur dudit ordinateur; 

5 et 

- superposer un trace grapNque k ladite image 
affichee pour permettre Tentree de la position 
des points de contrdle reels dans I'ordinateur. 

10 6. Methode pour generer une serie dimages de sortie 
combinees hybrides selon la revendication 1, 
caracterisee par le fait que ladite etape de transfert 
des images reelles dans I'ordinateur Inclut une 
sous-etape d'assodation d'un code de temps (time- 
rs code) k chacune des Images reelles. 

7. Methode pour generer une serie dimages de sortie 
combinees hybrides selon la revendication 1, 
caracterisee par le fart qu'elle inclut de plus une 

so etape consistent k capturer des caracteristiques 
optiques et geometriques de ladite camera reeile, 
lesdites caracteristiques etant seiectionnees parmi 
rouverture du diaphragme. la mise au point, la 
fbcale de I'objectif k focale variable (zoom), la 

25 Vitesse d'obturation. reievation de la camera, la 
rotation du support de la camera autour de son axe 
vertical. Unclinaison de la camera autour de son 
axe horizontal, et la position du chariot support de 
la camera par rapport k un rail de travelling. 

30 

8. Methode pour g6nerer une serie dimages de scrtie 
combinees hybrides selon la revendication 1. 
caracterisee par le fett qu'elle inclut une etape dlni- 
tialisation. 

35 

9. Appareil pour gen6rer une serie dimages de sortie 
combinees hybrides chacune derivee de donnees 
provenant dimages reelles oombinee avec des 
donnees provenant dimages de synthese; ledit 

40 appareil etant caracterise par le fait quil oomprend : 

des moyens pour definir plusieurs points de 
contrdle reels dans le nmnde reel; 
une camera reeile dans un monde reel pour 
45 generer des images reelles iilustrant une 

region definie par lesdits points de contrdle; 
un ordinateur pour generer des images de syn- 
these; 

des moyens pour transferer les images reelles 
so dans Tordinateur; 

- des moyens pour modeiiser les positions des- 
dits points de contrdle; 

- des moyens pour definir plusieurs points de 
contrdle virtuels dans lesdites images de syn- 

55 these; et 

des moyens pour aligner lesdits points de con- 
trdle virtuels avec lesdits points de contrdle 
reels, image par image, pour generer une serie 
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d'images de sorties composite align^es. 

10. Appareil pour g^n^er une s6rie d*irrages de sortie 
combin6es hybrides selon la revendication 9, 
caracl6ris6 par te fait que lesdits moyens de mod6- 5 
lisation Ibnctionnent h une fr^uence proche de ia 
fr^ence k laquelle la camera g^n^ra lesdites 
images r^elles. 

1 1 . Appareil pour g6n6rer une s6rie d'images de sortie io 
combindes tiyknides selon la revendication 9. 
caract6rts6 par ie fait que lesdits points de contrOle 
r6els sont en dehors du champs de prise de vue 
d^initif de la camto r^elles lors de la g^n^ration 
des images rMles. 

1 2. Appareil pour g6n6rer une s6rie d'images de sortie 
combin^es hybrides selon la revendication 9, 
caract6ris6 par Ie fait qu*il indut de plus un moniteur 

de contrdle affichant en temps r^el des ffnages de 20 
sorties oombin^es hybrides. 

13. Appareil pour g^n^rer une s^rie d'images de sortie 
combin6es hybrides selon la revendication 9. 
caract^ris^ par Ie fait quil indut de plus : 25 

- un moniteur d'ordinateur affichant une image 
rtelle gte^rde par la camera rtelte; et 

- des moyens pour superposer un trac§ graphi- 
que k iadite image affichte pour permettre 30 
I'entr^e de la position des points de contr6le 
r^eis dans Tordinateur. 

14. Appareil pour g6n6rer une s6rie d'images de sortie 
combin^es hybrides selon la revendication 9. 3S 
caract6ris§ par Ie fait qull indut de plus des moyens 
pour associer un code de temps (time-code) k cha- 
cune des Images r^elles. 

15. Appareil pour g6n6rer une s6rie cTlmages de sortie 40 
comblndes hybrides selon fa revendication 9. 
caract^ris^ par le fait qull indut de plus des moyens 
pour capturer des caract^ristiques optiques et g6o- 
m^triques de Iadite camera r^lle, lesdites caract^- 
ristiques ^ant s6lectionn6es parmi Touverture du 45 
diaphragme, ma mise au point, fa focale de Tot^ectif 

k focale variable (zoom), la Vitesse d'obturation, 
r6l6vation de la camera, la rotation du support de la 
camera autour de son axe vertical. Ilndinaison de 
la camera autour de son axe horizonfa.l et fa posi- so 
tion du chariot support de la camera par rapport k 
un rail de travelling. 

1 6. Appareil pour g^n^er une s6rie d^images de sortie 

combin6es hybrides selon fa revendication 9. ss 
caract6ris6 par le fait qull indut de plus des moyens 
dlnitialisation. 
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{67) Precede de rtelisation dlmages comportant 
une combinaison libre dimages r^tes (13) obtenues 
par au moins un syet^me de prise de vues (1) compor- 
tant une camera rdelie (2) mont6e eur un support 
mobile (4. 5) et dimages de synthase (12) obtenues par 
un ordinateur graphique (11) ^uip6 d'un logidel de 
synthtee dimages. caract6ris6 par le fait que : 

on r^ise pr6alablement une moddlisation param^ 
trique du eyst^me de prise de vues (1) k partff 
d'une plurality d'images rdelles contenant chacune 
au moins un point de contr61e (23) dont la position 
g tom^trique dans I'espace r^el est connue. la posi- 
tion des points de contrdle ^nt transmise k Tordi- 
nateur (11) en m6me temps que les valeurs 
mesur^es d*une plurality de grandeurs physiques 
capt6es, caract6ristiques de la gtemdtrie et de 
roptique de la camera rtelle (2) et de son support 
(4, 5) pour chaque image; 
puis, au cours de la prise de vues d'une s^uence 
d'images, on mesure, en synchronisme avec la 
g^n^ration des images r^elles. les grandeurs physi- 
ques pr6c(t6es capt6es pour chaque image; 
on transmet en temps r6el et en synchronisme avec 
la g^ndration dimage. lesdites grandeurs capt6es k 
rordinateur graphique (11) pour ddtenminer les 
paramdtres du meddle du syst^e de prise de 
vues (1): 

on g6ndre une s^uence dimages numdrlques de 
synthase (12) k une frequence proche de celle d^ 



de vues et proc6d6 et syst^me de realisation 
de synthase 

images r6elles (13) en d6duisant de ces param^ 
tres les caractdristiques de caicul de chaque image 
de synthase de fagon k obtenir une pariaite cohe- 
rence gtemdtrique entre chaque image rdelie et 
chaque image de synthase conrespondante; 
et on melange une partie de llmage rdelle avec une 
partie de ilmage de ^nth^e. 
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